随机前沿分析和包络数据分析 SFA,DEA 及运行结果
先推荐读这篇文章：邹志庄教授计量研究汇结，三部分总结经济研究经验
（昨日，计量哥推荐出去之后，由于未能够把邹至庄教授名字校正正确，对此向各位读者和Chow教授表示抱歉）
.正文
在经济学中，技术效率是指在既定的投入下产出可增加的能力或在既定的产出下投入可减少的能力。常用度量技术效率的方法是生产前沿分析方法。所谓生产前沿是指在一定的技术水平下，各种比例投入所对应的最大产出集合。而生产前沿通常用生产函数表示。前沿分析方法根据是否已知生产函数的具体的形式分为参数方法和非参数方法，前者以随机前沿分析（StochasticFrontierAnalysis，下文简称SFA）为代表，后者以数据包络分析（DataEnvelopeAnalysis，下文简称DEA）为代表。
目前，我国学者已将这两种方法广泛应用于各个领域，但在使用过程中也存在一些问题，尤其对于SFA。而SFA与DEA各有其利弊，不能简单地认为一种比另一种好，必须根据具体问题和实际度量结果做出判断。因此如何正确合理地使用这两种方法是目前面临的主要问题。针对上述情况，本文将首先简要总结SFA与DEA中最常用的模型；然后分别指出使用中一些关键的地方和常见的问题；最后比较分析这种两种方法。
1 SFA模型
在经济学中，技术效率的概念应用广泛。Koopmans首先提出了技术效率的概念，他将技术有效定义为：在一定的技术条件下，如果不减少其它产出就不可能增加任何产出，或者不增加其它投入就不可能减少任何投入，则称该投入产出为技术有效的。Farrell首次提出了技术效率的前沿测定方法，并得到了理论界的广泛认同，成为了效率测度的基础。
在实际应用中，前沿面是需要确定的。其确定方法主要两种：一种是通过计量模型对前沿生产函数的参数进行统计估计，并在此基础上，对技术效率进行测定，这种方法被称为效率评价的“统计方法”或“参数方法”；另一种是通过求解数学中的线性规划来确定生产前沿面，并进行技术效率的测定，这种方法被称为“数学规划方法”或“非参数方法”。参数方法的特点是通过确定前沿生产函数的参数来确定生产前沿面，针对不同研究对象所确定的生产函数也各不相同，技术效率的测度具有一定的针对性，而非参数方法只需通过求解线性规划来确定生产前沿面，方法简单易行，应用广泛。
参数方法依赖于生产函数的选择，常用的生产函数有Cobb-Douglas生产函数、Translog生产函数等。参数方法的发展经历了两个阶段：确定型前沿模型和随机型前沿模型。Aigner等、Afriat分别提出了各自的确定型前沿模型，在不考虑随机因素影响的情况下求解前沿生产函数。但是，由于确定型前沿模型把所有可能产生影响的随机因素都作为技术无效率来进行测定，这使得其技术效率测定结果与实际的效率水平有一定的偏差。为了消除确定型前沿模型的这一缺陷，Meeusen和Vanden Broeck，Aigner、Lovell和Schmidt和Battese和Corra提出了随机前沿模型(即SFA方法)，对模型中的误差项进行了区分，提高了技术效率测定的精确性。
SFA是前沿分析中参数方法的典型代表，即需要确定生产前沿的具体形式。与非参数方法相比，它的最大优点是考虑了随机因素对于产出的影响。SFA要解决的问题是要度量n个决策单元T期的技术效率（TE），每个决策单元都是m种投入和一种产出。对于该面板数据问题，SFA最常用的模型基本组成如下：
其中σv2，σu2，η，γ，和向量β是待估计参数。
在上述模型中，yit为第i个决策单元第期的实际产出；xit为第i个决策单元第t期的投入向量；f（xit，β）为某种生产函数；vit为随机扰动项，表示诸如天气等随机因素对于产出的影响，由于该随机因素可使产出增加或减少，常假设vit~i.i.dN（0，σv2）；μit为技术无效率项，表示技术无效率对于产出的影响，它由δ（t）和μi两部分组成，一般可假设μi服从半正态分布、截断正态分布、指数分布或分布，并假设vit它与独立。δ（t）表示了技术效率随时间变化的特点，显然，在估计出η后，我们根据它的正负号就可以判断出决策单元的技术效率的发展趋势：若η>0，则δ（t）是t的单调递减函数，表示技术越来越有效率；若η<0，则δ（t）是t的单调递增函数，表示技术越来越无效率；若η=0，则δ（t）=1，表示技术效率随时间t没有变化。
εit=vit-μit为合成误差项，由于εit的期望是小于0，因此不能直接用最小二乘法估计参数，而是在求出εit的密度函数后用极大似然估计的方法估计出各个参数，然后通过μ的条件分布μ|ε求出条件期望E（exp{-μit}|εit）作为技术效率TEit的估计值。显然技术效率TEit是0到1之间的数，μit越小，TEit越大表示该决策单元的技术效率越高，1/TEit表示在当前的投入下产出可扩大的程度。当T=1时，模型退化为截面数据模型。此外，通过γ的取值的可以判断本批数据是否有必要用SFA模型。易知γ∈（0，1），当γ→0时，表明v支配ε，μ几乎没起作用，此时用最小二乘法就可分析；当γ→1时，表明μ支配ε，v几乎没起作用，此时也没有必要用SFA，用确定型的前沿分析就可分析。因此对γ做是否为0的极大似然比检验是必要的，它的检验统计量渐进服从于混合x2分布。
随机前沿分析(SFA)是一种基于生产前沿面理论的参数方法。该方法由艾格纳、洛夫尔和施密特(Aigner,Lovell and Schmidt,1977)以及穆森和布勒克(Meeusen and Van Den Broeck，1977)各自独立提出。上个世纪90年代以来，SFA广泛地应用于国外医院的效率评价、费用控制和卫生改革研究领域。SFA模型在确定性生产前沿的基础上，通过将误差项分解来估计DMU的技术效率。误差项被分解为两部分，一部分表示随机误差，另一部分表示技术无效性(technical inefficiency)。基本的模型形式如下：
随机前沿生产函数要求产出Y为单一变量，实际情况往往与此不符。有研究者采取用单一产出指标代替多个产出或者用统计方法将多个产出转化为单指标来解决多产出问题。也有学者发现对于多产出的机构，使用成本函数更为方便，因为它允许估计单个应变量一成本哺1。其基本形式如下：
以上讨论是基于横截面数据的随机前沿模型，Schmidt和Sickles(1984)指出了采用横截面数据所面临的两个困难：(1)在进行参数估计时，须设定％的具体分布，但这种设定缺乏经济学理论支持，具有主观性。(2)参数估计时，还需假定玑与生产前沿函数中的解释变量相互独立，但对许多产业而言，独立性是不现实的。
Cornwell，Schmidt和Sickles(1990)以及Kumbhakar(1990)首先建立了应用面板数据(panel data)的模型。由于面板数据比单一横截面数据包含更多信息，利用面板数据可以解决横截面数据所面临的上述问题。面板数据随机前沿成本模型主要有下面两种类型：
(1)时不变无效性模型
关。但它要求解释变量都要随着时间而变化，否则会使得模型中系数的估计趋近于0。。随机效应模型可以纳入随时间不变的解释变量，但需要对
(2)时变无效性模型
Battese和Coelli(1 992)在进行随机前沿分析时引入了下面的面板数据模型：
上述Battese&Coelli(1992)模型的无效率项中仅包含了时间影响，1995年Battese和Coelli对上述模型进行了改进，提出了下面的模型：
在SFA的实际应用中，通常会遇到如下三个问题：
（1）如何选择生产函数f（xit，β）。
目前，在SFA中生产函数通常选择为柯布—道格拉斯生产函数（下文简称C—D函数）或超越对数生产生产函数（下文简称Translog函数）。当仅考虑资本（K）和劳动（L）两种投入，易知C—D函数取自然对数后可表示成如下线性形式：
其中β0，β1，β2，β3，β4和β5为待估计参数。
Translog函数本质是生产函数f（1nK，1nL）在（0，0）点的近似二阶泰勒展开，当β3=β4=β5=0时，就退化为C—D函数。在SFA中，选择C—D函数的主要优点是其形式简洁，参数有直接的经济学含义（β1和β2表示资本和劳动的产出弹性）；选择Translog函数的主要优点是考虑了资本和劳动相互作用对于产出的影响，克服了C—D函数替代弹性固定为1的缺点。需要注意的是，虽然C—D函数是Translog函数的特殊形式，但不意味着选择Translog函数就一定比C—D函数效果好。有的学者在应用时直接主观地选择了C—D函数或Translog函数，而正确的做法应根据客观的统计检验来决定选择使用哪种生产函数。
我们首先选择Translog函数，在参数估计后做β3=β4=β5=0是否为0的似然比检验。若不能拒绝β3=β4=β5=0的原假设，则选择C—D函数；反之则选择Translog函数。其检验统计量LR=-2{1n[L（H0）/L（H1）]}近似服从
（2）μ的概率密度分布对于结果的影响。
有的学者困惑于μ的分布选择上，因为没有理论证明μ应服从哪种分布，甚至把这点作为了SFA的主要缺点。但是根据李双杰等（2007）的研究结论[5]，假定μ服从前文提到的四种分布的哪种对最终的结果影响不大，至少其结果的等级相关系数是很高的。不难证明，当v服从期望为0的正态分布，μ服从半正态分布或截断正态分布或指数分布时，μ的条件分布μ|ε都是服从截断正态分布，而TE又是通过条件分布μ|ε相应的条件期望求出，因此它们的TE值有共同的分布基础。在实际应用中，μ通常选择较为简单的半正态分布或指数分布。
（3）ε的偏度问题。
根据模型的假设，易知ε的偏度应是负值，但是对于很多实际数据会出现正值的情况并最终导致各个决策单元的技术效率值都非常接近1。出现这样的情况主要有四种原因：一是各个决策单元生产技术本身就是非常有效率的；二是这批数据并不适合该模型，主要体现在生产函数的形式与投入产出的选择并不相适应，通常表现在参数估计的结果符号为负，且t值很低；三是μi的方差σu2很小，表明v支配ε，此时通常表现为γ值异常大；四是ε实际的概率分布的偏度本身为负值。当遇到上述情况时，可通过调整投入产出种类或增加样本容量来尝试解决；若仍无改进，通常只能选用其他模型（如改用DEA）。
2 DEA模型
数据包络分析(data envelopment analysis)简称DEA,采用线性规划技术，是最常用的一种非参数前沿效率分析法。它由A.Charnes和W.W.Cooper等人于1978年创建的，以相对效率为基础对同一类型的部门的绩效进行评价。
该方法将同一类型的部门或单位当作决策单元(DMU)，其评价依据的是所能观测到的决策单元的输入数据和输出数据。输入数据是指决策单元在某种活动中所消耗的某些量，如投入资金量、原料量等，输出数据是指决策单元消耗这些量所获得的成果和产出，如产品产量、收入金额等。将各决策单元的输入输出数据组成生产可能集所形成的生产有效前沿面，通过衡量每个决策单元离此前沿面的远近，来判断该决策单元的投入产出的合理性，即技术效率。
一般的评价方法比较同一类型的决策单元的效率，需要先对决策单元的输入输出指标进行比较，并通过加权得到一个综合评分，然后通过各个决策单元的评分来反映其效益优劣。数据包络分析法则巧妙地构造了目标函数，并通过Charnes－Cooper变换（称为
DEA方法也存在着一些缺点：首先，当决策单元总数与投入产出指标总数接近时，DEA方法所得的技术效率与实际情况偏差较大；其次，DEA方法对技术有效单元无法进行比较；此外，由于未考虑到系统中随机因素的影响，当样本中存在着特殊点时，DEA方法的技术效率结果将受到很大影响。彭晓英等用因子分析法对指标进行筛选和综合，再采用DEA方法进行评价，解决了DEA方法对指标数量限制的问题，并对煤炭资源型城市的生态经济发展进行了评价。
SFA与DEA方法都是前沿效率评价方法，它们都是通过构造生产前沿面来计算技术效率的。与DEA方法相比，SFA方法利用生产函数来构造生产前沿面，并采用技术无效率项的条件期望来作为技术效率，其结果受特殊点的影响较小且不会出现效率值相同且为1的情况，可靠性、可比性更好。SFA方法也有一些缺点，如处理多产出的情况时不如DEA方法方便，需要将多产出合并成一个综合产出；而投入指标过多时，由于指标间的相关关系，也会对结果的可靠性产生影响。周春应等、侯强等分别采用了SFA方法对我国区域经济技术效率和辽宁省城市技术效率进行了评价。
DEA是通过线性规划的方法来度量效率，它是一种非参数方法，即不需要已知生产前沿的具体形式，而只需已知投入产出的数据。DEA能方便容易处理决策单元是多产出情况。Charnes，Cooper和Rhodes(1978)[6]提出了DEA中的第一个模型———CCR模型，该模型是其他DEA模型的基础。Banker，Charnes和Cooper(1984)提出了BCC模型，该模型将CCR模型中假定的规模报酬不变放宽为规模报酬可变。Andersen和Petersen(1993)提出了超效率模型。与上述模型相比，该模型重新计算了上述模型中效率为1的决策单元的效率，最终区分了原来都处于前沿面上决策单元的技术效率水平。在经济学中还有其他数十种DEA模型，但上述三种模型在我国应用最为普遍。
DEA要解决的问题仍是度量n个决策单元的技术效率，每个决策单元都是m种投入，但此时允许每个决策单元有k种产出，则CCR模型如下：
其中，X=（x1，x2，…，xn）'和Y=（y1，y2，…，yn）'为n个决策单元的投入和产出矩阵，θ和λ=（λ1，λ2，…，λn）'为决策变量。式(7)的含义是：目标函数值θ表示在产出既定的条件下，投入向量xi最大可收缩的程度。而Y'λ和X'λ相当于第i个决策单元的产出和投入在生产前沿上的投影点，该投影点为包括第i个决策单元在内所有n个决策单元投入产出的线性组合。若实际投入产出和相应的投影点重合，则表示该决策单元的生产位于生产前沿上，即技术效率值为1，称为技术有效。这些投影点就构成了生产前沿。
度量n个决策单元的效率就需要解n个线性规划，其最优解就是相应的效率值。CCR模型是假定在规模报酬不变的基础上，即认为所有的决策单元在生产规模上都是有效的，而BCC模型放松了该假设。该模型和CCR模型相比，只增加了一个约束条件：1'λ=1，即对λ的取值做出了限制。该约束条件的含义是度量第i个决策单元的技术效率时与它规模接近的决策单元做比较。BCC模型中考虑了规模效率（SE）后，它实质是将CCR模型中的技术效率TECCR分解为了两部分：一部分是规模效率，另一部分是剔除了规模效率以后的纯技术效率（TECCR）。三者之间关系为TECCR=TEBCCSE。显然，当且仅当纯技术效率值TEBCC和规模效率SE都有效时TECCR才有效。对于上述两个模型，度量结果经常会出现多个决策单元都是有效的，即它们的效率值都为1，这就不能区分这些决策单元的技术效率水平，而超效率模型则在一定程度上解决了该问题。该模型如下：
该模型与CCR模型相比，仅是在构造第i个决策单元的投影点时不同：在CCR模型中，投影点是包括第i个决策单元在内所有n个决策单元投入产出的线性组合；而在超效率模型中，投影点是不包括第i个决策单元在内的其他个n-1决策单元投入产出的线性组合。超效率模型只是改变了CCR模型中技术效率有效点的效率值，不改变其他点的效率值。
在DEA的实际应用中，通常会遇到如下两个问题：
（1）在CCR或BCC模型中如何避免出现很多个决策单元技术效率都有效的情况。
对于CCR或BCC模型，有定理保证减小样本容量或者增加投入或产出的种类不会使原TE值减小。因此，可通过增大样本容量或者适当减少投入产出种类来减少技术有效的决策单元个数。
（2）超效率模型本身仍存在弊端。
首先，当CCR或BCC模型结果中出现过多技术有效的决策单元改用超效率模型时，虽然度量结果不会再有多个决策单元技术效率同时为1的情况，但是这些决策单元在超效率模型下新的效率值仍可能会全部或部分的相同，仅是不为1了，而是为其他大于1的值了（比如它们的效率值都为2），这样仍无法有效区分这些决策单元的技术效率水平。这种情况经常出现在用于理论研究的有规律模拟数据中。在应用中，若投入产出数据使用的精确记录数据而不是过于粗糙取整后的数据即可避免该情况发生。其次，超效率模型更适用于规模报酬不变情况。在规模报酬可变情况下，超效率模型的度量结果通常会有多个决策单元的效率值为任意大。此时，仍无法区分这些决策单元的技术效率水平。但在规模报酬不变下，超效率模型无法分析规模效率水平。
3 SFA与DEA的比较
3.1 SFA与DEA的共同点
SFA与DEA都是前沿度量方法，它们的共同基础是距离函数（关于距离函数内容可参阅参考文献7）。SFA与DEA都是在通过构造生产前沿的基础上度量技术效率。它们度量出的技术小效率是相对效率，其效率值在样本内部具有很强的可比性，但在不同样本间计算出的效率值可比性不强。
3.2 SFA与DEA的不同点
（1）SFA与DEA模型基本假设和模型扩展的复杂程度不同。
SFA的模型基本假设较为复杂，需要考虑生产函数、技术无效率项分布的具体形式，这直接导致模型很难做进一步扩展。因为合成误差项ε的密度函数形式复杂，相应的似然函数更加复杂，这给参数估计带来很多计算上的困难，因此很难进一步分析异方差等情况或对做进一步模型扩展。而DEA的主要优点是不需要考虑生产前沿的具体形式，仅需要投入产出数据，模型容易做其他形式的扩展，目前已有数十种DEA模型。此外，由于SFA的模型假设较为复杂，因此对投入产出的数据要求更高，若投入产出数据不符合模型基本假设，则易出现上文分析的的偏度问题而最终导致计算失败。
（2）SFA与DEA对实际产出的解释和处理方法不同。
SFA最主要的优点是考虑了随机因素对于产出的影响，它实质上将实际产出分为生产函数、随机因素和技术无效率三部分。而DEA的最大缺点是把实际产出小于前沿产出的原因全部归结于技术效率原因，忽略了随机因素对于产出的影响，它实质上将实际产出分为生产前沿和技术无效率两部分。但DEA的一个优点是能直接处理多产出情况，而SFA处理多产出则较为复杂，需要将多产出合并成一个综合产出或者利用距离函数解决。
（3）SFA与DEA构造生产前沿的方法不同。
SFA的基本思想是利用生产函数和随机扰动项构造出随机生产前沿，而DEA是根据个决策单元的投入产出数据，选出一个或几个决策单元作为技术有效点，进而构造出生产前沿。对于面板数据，SFA是根据所有周期的数据仅构造出一个统一的生产前沿，而DEA是每个周期各构造一个生产前沿。SFA是通过极大似然法估计出各个参数值，然后用技术无效率项的条件期望作为技术效率值，其结果一般不会有效率值为1的决策单元，而DEA是通过线性规划计算出效率值，其结果至少有一个效率值为1的决策单元。SFA可对结果做相应的统计检验或者求相应的置信区间，而DEA则不可。此外，若样本容量很大，这些样本可能会因不满足线性规划的一些基本假设而最终导致DEA的计算失败，而SFA中使用的极大似然估计法估计出的参数具有大样本的相合性，因此，SFA更适合大样本计算。
（4）SFA与DEA计算结果的稳定性不同。
从方法论上考虑，SFA是用极大似然估计法来估计出各个参数后进而用条件期望最终计算出各个决策单元的技术效率，该方法充分利用了每个样本的信息并且是“同等”对待每个样本。因此SFA的计算结果较为稳定，不易受异常点的影响。对于面板数据，由于SFA是仅构造出一个前沿面，而在模型中又有上文(2)式的假定，因此即使某一周期数据整体都有异常对全部结果的影响也不是很大。而DEA计算结果的稳定性较差，容易受异常点的影响。由于DEA是主要通过技术有效的样本来构造前沿，因此这些样本的信息就最终决定了前沿面的形状，进而很大程度上决定了整体的计算结果。若这些样本存在异常点，通常对结果有较大的影响。
（5）SFA与DEA可获得的相关经济信息不同。
就本文所总结的模型而言，除了能够计算技术效率外，SFA还可通过参数值求出投入的产出弹性和规模报酬情况。而在DEA的BCC模型中，可求出规模效率和规模报酬情况。
（6）SFA与DEA分析影响效率因素的方法不同。
通常在计算出技术效率后会进一步分析影响效率的因素。对于SFA，只需将技术无效率项表示成影响因素的线性形式后在原有模型中即可完成对影响因素各个参数的估计。对于DEA，通常需要分为两阶段。第一阶段是计算其技术效率，第
二阶段是以技术效率为因变量以影响因素为自变量通过二元离散选择模型进行分析。因此，在分析影响效率因素上，SFA更为方便。由以上比较可知SFA与DEA之间在诸多方面具有优缺点互补的特点。对于同一问题，当用SFA和DEA分别度量时，其结果会有差异。国内外学者普遍用等级相关系数作为判断这种差异是否可接受的主要依据。如果差异比较大，并且不好判断哪种方法更好时，此时可将两种方法或两种方法的度量结果综合起来，可采用国外学者提出的随机非参数方法或我国学者提出的组合综合评价方法。
Stata运行随机前沿分析，sfmodel
1.读取数据：
2.运行过程和结果：
3.代码：
xtset id time
global xvar x1 x2
xtreg y $xvar, fe
predict err, e
predict muf, u
generate error = err
summarize err muf, detail
sktest err muf, noadj
generate onee=1
sfmodel error, dist(h) prod frontier(onee, nocons) usigmas() vsigmas()
ml max
参考：https://sites.google.com/site/sfbook2014
注：这绝非@计量哥 纯原创，只是考虑到网络上随意COPY问题，此处还是标识了原创，敬请谅解。很多时候，我们都会在某一方面犯错，因此望各位善意地指点出来。
@计量经济学圈
记录一个我们生活在其中的时代社会，一个非常具有潜力的深度与客观兼具的大号，囊括的主题如下：经济、社会、历史、新闻、世界、计量工具。